معاوية قد عبر البحر إلى الأندلس فنزل بساحل دمشق يعني بناحية إلبيرة واجتمع إليه موالي بني أمية وشيعهم وتشوف الناس إليه فانتشر الخبر في العسكر لوقته وشمت الناس بيوسف فسارعوا إلى الرفض من عسكره وقوضوا إلى كورهم وأقبل إلى طليطلة في غلمانه وقيس قوم الصميل . ويقال إن كاتبه خالد بن زيد قال له بمحضر الصميل وزيره وقد فرغ من مؤاكلتهما ذات يوم وهو ببعض منازله في طريقه هنيئا لك أيها الأمير اكتمال سعدك . قد قتل الله لك كاشحك ابن شهاب وفلانا وفلانا يعد الأشراف من العرب المقتولين في غزوهم الروم ووفقك لقتل أنغلهم ضميرا هذا العبدري يعني عامرا وابنه فمن ذا يعارضك بعدهم هي والله لك ولولدك إلى الدجال . ثم خرج الصميل إلى قبته واستلقى يوسف على فراشه وذلك وقت العصر فما راعهم إلا بريد يركض تشوف إليه أهل العسكر وقالوا رسول من قرطبة وتطلعوا إلى علم خبره فإذا كتاب أم ولد يوسف مع غلام خاص لها على بغلتها المشهورة بها تذكر أن فتى من أبناء هشام بن عبد الملك يقال له عبد الرحمن بن معاوية عبر البحر ونزل بساحة إلبيرة على أبي عثمان مولاهم بقرية طرش فشاء الله أن يكون وارث سلطانه ونازع ملكه